Autonomous search and rescue rotorcraft mission stochastic planning with generic DBNs

This paper proposes an original generic hierarchical framework in order to facilitate the modeling stage of complex autonomous robotics mission planning problems with action uncertainties. Such stochastic planning problems can be modeled as Markov Decision Processes [5]. This work is motivated by a real application to autonomous search and rescue rotorcraft within the ReSSAC1 project at ONERA. As shown in Figure 1.a, an autonomous rotorcraft must y and explore over regions, using waypoints, and in order to nd one (roughly localized) person per region (dark small areas). Uncertainties can come from the unpredictability of the environment (wind, visibility) or from a partial knowledge of it: map of obstacles, or elevation map etc. After a short presentation of the framework of structured Markov Decision Processes (MDPs), we present a new original hierarchical MDP model based on generic Dynamic Bayesian Network templates. We illustrate the bene ts of our approach on the basis of search and rescue missions of the ReSSAC project.IFIP International Conference on Artificial Intelligence in Theory and Practice - Planning and SchedulingRed de Universidades con Carreras en Informática (RedUNCI

XMDP : un modèle de planification temporelle dans l'incertain à actions paramétriques

Certains problèmes de décision impliquent de choisir à la fois des actions à entreprendre mais également des paramètres à affecter à ces actions. Par exemple, l'action ``avancer'' nécessite souvent d'y associer une distance. Dans le cadre de la décision dans l'incertain, on propose d'étendre le modèle MDP pour prendre en compte des actions paramétriques dont le paramètre est une variable de décision. On s'attache à établir les équations d'optimalité pour ces MDP paramétriques et on prolonge les résultats connus pour les MDP classiques. La variable temporelle a une place spéciale dans ce modèle, on détaillera ses propriétés et on les mettra en lumière des travaux précédents en planification temporelle dans l'incertain et en MDP à espaces d'état hybrides

Multi-target detection and recognition by UAVs using online POMDPs

This paper tackles high-level decision-making techniques for robotic missions, which involve both active sensing and symbolic goal reaching, under uncertain probabilistic environments and strong time constraints. Our case study is a POMDP model of an online multi-target detection and recognition mission by an autonomous UAV.The POMDP model of the multi-target detection and recognition problem is generated online from a list of areas of interest, which are automatically extracted at the beginning of the flight from a coarse-grained high altitude observation of the scene. The POMDP observation model relies on a statistical abstraction of an image processing algorithm's output used to detect targets. As the POMDP problem cannot be known and thus optimized before the beginning of the flight, our main contribution is an ``optimize-while-execute'' algorithmic framework: it drives a POMDP sub-planner to optimize and execute the POMDP policy in parallel under action duration constraints. We present new results from real outdoor flights and SAIL simulations, which highlight both the benefits of using POMDPs in multi-target detection and recognition missions, and of our`optimize-while-execute'' paradigm

Autonomous search and rescue rotorcraft mission stochastic planning with generic DBNs

This paper proposes an original generic hierarchical framework in order to facilitate the modeling stage of complex autonomous robotics mission planning problems with action uncertainties. Such stochastic planning problems can be modeled as Markov Decision Processes [5]. This work is motivated by a real application to autonomous search and rescue rotorcraft within the ReSSAC1 project at ONERA. As shown in Figure 1.a, an autonomous rotorcraft must y and explore over regions, using waypoints, and in order to nd one (roughly localized) person per region (dark small areas). Uncertainties can come from the unpredictability of the environment (wind, visibility) or from a partial knowledge of it: map of obstacles, or elevation map etc. After a short presentation of the framework of structured Markov Decision Processes (MDPs), we present a new original hierarchical MDP model based on generic Dynamic Bayesian Network templates. We illustrate the bene ts of our approach on the basis of search and rescue missions of the ReSSAC project.IFIP International Conference on Artificial Intelligence in Theory and Practice - Planning and SchedulingRed de Universidades con Carreras en Informática (RedUNCI

Planning for perception and perceiving for decision: POMDP-like online target detection and recognition for autonomous UAVs

This paper studies the use of POMDP-like techniques to tackle an online multi-target detection and recognition mission by an autonomous rotorcraft UAV. Such robotics missions are complex and too large to be solved off-line, and acquiring information about the environment is as important as achieving some symbolic goals. The POMDP model deals in a single framework with both perception actions (controlling the camera's view angle), and mission actions (moving between zones and flight levels, landing) needed to achieve the goal of the mission, i.e. landing in a zone containing a car whose model is recognized as a desired target model with sufficient belief. We explain how we automatically learned the probabilistic observation POMDP model from statistical analysis of the image processing algorithm used on-board the UAV to analyze objects in the scene. We also present our "optimize-while-execute" framework, which drives a POMDP sub-planner to optimize and execute the POMDP policy in parallel under action duration constraints, reasoning about the future possible execution states of the robotic system. Finally, we present experimental results, which demonstrate that Artificial Intelligence techniques like POMDP planning can be successfully applied in order to automatically control perception and mission actions hand-in-hand for complex time-constrained UAV missions

Optimisation des Processus Décisionnels de Markov Partiellement Observables avec prise en compte explicite du gain d’information

Traditionnellement, les travaux de recherche en décision séquentielle dans l'incertain avec observabilité partielle reposent sur les Processus Décisionnels de Markov Partiellement Observables (POMDP), optimisés avec un critère de maximisation de revenus cumulés pondérés sur un horizon d'action donné. Or, ce critère est pessimiste dans la mesure où la décision est optimisée sur une distribution de probabilité sur l'état de croyance de l'agent autonome, sans que l'algorithme ne réduise explicitement cette incertitude. Autrement dit, les critères classiques d'optimisation des POMDP raisonnent sur toutes les hypothèses possibles, sans favoriser explicitement les actions qui pourraient acquérir de l'information et réduire le champ d’hypothèses. Au contraire, les travaux en traitement d'image et particulièrement en perception active s'intéressent plutôt à trouver les actions qui minimisent l'entropie de croyance, c'est-à-dire l'incertitude sur l'état caché, mais sans optimiser une récompense globale liée à la mission du robot. Ainsi, afin de résoudre au mieux des problèmes robotiques alliant à la fois des objectifs de perception et de mission, nous proposons deux nouveaux critères mixtes, l'un additif et l’autre multiplicatif, qui agrègent les récompenses cumulées (mission) et les entropies de croyance cumulées (perception), toutes deux pondérées sur un horizon d'action commun. À l'aide d’évaluations statistiques sur plusieurs exécutions de la politique optimisée, nous montrons que nos critères mixtes sont optimaux par rapport à un critère purement entropique, et que le critère additif améliore même un critère basé purement sur les récompenses de la mission. Ce dernier point démontre que le critère classique, qui repose uniquement sur les récompenses cumulées, n'est pas optimal lors de l’exécution, car il ne prend pas en compte explicitement le gain d'information et la réduction de l’incertitude sur l'état caché du système

Décision séquentielle pour la perception active : p-POMDP versus POMDP

Cet article propose une étude du compromis entre la prise d’information et la décision dans un cadre applicatif qui se rapporte à une mission d’exploration, où l’agent interagit avec son environnement pour identifier l’état caché du système. Dans ce problème de décision séquentielle pour la perception, il est possible de faire reposer la fonction de récompense sur une mesure de l’incertitude sur l’état de croyance de l’agent (Araya-López et al., 2010; Candido & Hutchinson, 2011; Eidenberger & Scharinger, 2010). Sa forme est donc différente de celle utilisée dans le cadre classique des POMDP qui est, pour sa part, basée sur la paire état-action. Nous comparons donc deux approches d’optimisation des politiques pour ce type de problème. D’une part nous proposons un critère mixte qui couple une mesure de l’incertitude sur l’état de croyance avec les récompenses définies par les paires état-action et nous développons un schéma algorithmique de résolution pour ce critère. D’autre part, nous proposons d’ajouter au modèle des états but fictifs au moyen des actions de classification afin de revenir à une modélisation sous-forme de POMDP classique (critère non mixte). Une étude comparative de ces approches est ici présentée afin de vérifier leur équivalence en termes de prise d’informations. Les résultats nous mènent à conclure que ces approches sont non seulement comparables et équivalentes en termes de réduction d’incertitude, mais aussi, qu’elles peuvent être utilisées en parfaite complémentarité de façon à permettre : de caractériser une politique correspondant aux taux acceptables des bonnes et mauvaises classifications et de déterminer les bonnes valeurs des coûts et des récompenses du modèle POMDP classique

Détection et reconnaissance de cibles en ligne pour des UAV autonomes avec un modèle de type POMDP

Cet article présente une mission pour la détection et reconnaissance de cibles menée par un véhicule aérien inhabité (UAV) autonome. La mission est modélisée par un Processus de Markov Partiellement Observable (POMDP). Le modèle POMDP traite dans un cadre unique des actions de perception (comme l'angle de prise de vue de la caméra) et des actions qui mènent à l'accomplissement de la mission (changement de zone, altitude de vol, atterrissage). La mission consiste à atterrir dans la zone qui contient une voiture dont le modèle reconnu est celui recherché, avec un état de croyance suffisant. Nous expliquons comment nous avons appris le modèle d'observation probabiliste du POMDP à partir d'une étude statistique des sorties de l'algorithme de traitement d'image. Cet algorithme utilisé pour reconnaître des objets dans la scène est embarquée sur notre UAV. Nous présentons aussi notre cadre \emph{optimize-while-executing}, qui administre un sous-planificateur POMDP pour optimiser et exécuter en parallèle la politique avec des contraintes de temps associées à la durée des actions, et qui raisonne sur les états futurs possibles du système robotique. Finalement, nos résultats expérimentaux sont présentés. Ils démontrent que des techniques d'intelligence artificielle comme les POMDP peuvent être appliquées avec succès pour contrôler automatiquement des actions de perception et d'accomplissement de mission pour des missions complexes en temps contraint pour un UAV autonome

POMDP-based online target detection and recognition for autonomous UAVs

This paper presents a target detection and recognition mission by an autonomous Unmanned Aerial Vehicule (UAV) modeled as a Partially Observable Markov Decision Process (POMDP). The POMDP model deals in a single framework with both perception actions (controlling the camera's view angle), and mission actions (moving between zones and flight levels, landing) needed to achieve the goal of the mission, i.e. landing in a zone containing a car whose model is recognized as a desired target model with sufficient belief. We explain how we automatically learned the probabilistic observation POMDP model from statistical analysis of the image processing algorithm used on-board the UAV to analyze objects in the scene. We also present our "optimize-while-execute" framework, which drives a POMDP sub-planner to optimize and execute the POMDP policy in parallel under action duration constraints, reasoning about the future possible execution states of the robotic system. Finally, we present experimental results, which demonstrate that Artificial Intelligence techniques like POMDP planning can be successfully applied in order to automatically control perception and mission actions hand-in-hand for complex time-constrained UAV missions

Planning in Partially Observable Domains with Fuzzy Epistemic States and Probabilistic Dynamics

International audienceA new translation from Partially Observable MDP into Fully Observable MDP is described here. Unlike the classical translation, the resulting problem state space is finite, making MDP solvers able to solve this simplified version of the initial partially observable problem: this approach encodes agent beliefs with possibility distributions over states, leading to an MDP whose state space is a finite set of epistemic states. After a short description of the POMDP framework as well as notions of Possibility Theory, the translation is described in a formal manner with semantic arguments. Then actual computations of this transformation are detailed, in order to highly benefit from the factored structure of the initial POMDP in the final MDP size reduction and structure. Finally size reduction and tractability of the resulting MDP is illustrated on a simple POMDP problem